Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model
从顺序特征恢复中涌现缩放定律：一个可解的分层模型
🧭 特征学习顺序与缩放定律的理论解释
Ecole Normale Supérieure (PSL & CNRS) · École Polytechnique Fédérale de Lausanne (EPFL)
揭示多层网络如何通过顺序恢复不同强度的潜在组合特征来产生幂律缩放定律
📌 工作参考价值（4 点）
- 推荐系统的特征重要度设计：可借鉴分层组合特征的幂律权重先验，在特征工程中明确区分强/弱特征，指导特征选择和样本分配。
- 分阶段训练策略：在电商多模态模型中，可按特征强度顺序逐步引入训练目标，先用强特征快速收敛，再逐步学习弱特征，可能提升样本效率。
- Agent多智体中的层次规划：分层恢复的理念可迁移至任务分解，先将简单子任务习得，再顺序攻克复杂子任务，形成由易到难的学习序列。
- 理论启发：为推荐模型（如生成式推荐）中的深层次Semantic ID结构提供了新的分析视角，表明层级表示可能自然导致缩放行为。